A First-Principles-Driven Life
About | Archive |
Tags
algorithmbashblockchainc programmingdefidevopsgamehaskelllinux kernelnixnon-blockingpoliticssemantic moneysoliditysuperfluidsystem programming
| RSS |
Outposts
Medium cohost Mission Liberty

Posts tagged "linux kernel":

20 Jul 2008

使用KGDB调试Linux内核

简介

从 2.6.25 开始，Linux 主干内核开始内置了代码级调试器 kgdb。通过 kgdb，开发者就可以在内核代码中设置断点，单步调试和观察变 量。为了使用 kgdb，你需要有两个系统。一个作为开发系统，一个作为测试系统嗯。两台机器通过串口线连接。需要调试的内核运行在 测试己其上。串口线用于 gdb 连接远程目标。kgdb 已经还可以支持通过以太网连接两台机器，不过目前内核中(2.6.26)还没有这部分代 码。本文通过 qemu 模拟器运行 2.6.26 的 内核作为测试系统，并通过 qemu 的虚拟TCP串口设备功能，使开发系统的 gdb 可以通过连 接本地 tcp 端口调试内核。本文使用的开发系统：Fedora 9, 2.6.25.10-86.fc9.i686 QEMU PC emulator version 0.9.1, Copyright (c) 2003-2008 Fabrice Bellard GNU gdb Fedora (6.8-11.fc9) gcc (GCC) 4.3.0 20080428 (Red Hat 4.3.0-8)注：当使用 qemu 的时 候， 可以直接使用 qemu -s -S 功能调试，不需要 KGDB 的支持，这里的例子是模拟一个类似调试真实平台的例子。

配置和启动

内核选项

kgdb 选项 ：

  • CONFIGKGDB=y
  • CONFIGKGDBSERIALCONSOLE=y

选项在 Kernel hacking 里可以找到 同时，为了能在系统运行时中断系统并出发远程 gdb，必须打开内核 Magic Sys-Rq 键选项 ：

  • CONFIGMAGICSYSRQ=y

打开内核符号调试：

  • CONFIGDEBUGINFO=y

注意事项：

  • CONFIGDEBUGRODATA 必须被禁用，否则kgdb讲无法正常使用。

启动 qemu

qemu ${QEMU_ARGS} \
    -kernel "$VMLINUZ" \
    -append "${KERNEL_CMDLINE} kgdboc=ttyS0,115200 kgdbwait" \
    -serial tcp::${KGDB_TCPPORT},server \
    -hda "${QEMU_HDA}" >/dev/null &

qemu 选项中：

  • -kernel 编译好的内核，压缩过的
  • -append 传给 kernel 的命令行选项
  • -serial 使系统的第一个串口与本地的 TCP 端口关联起来，用于模拟终端，这样gdb就可以连接到目标系统而不用串口线了。
  • -hda 用于运行开发系统的Linux系统qemu硬盘。你也可以在用 nfs root 启动系统，但qemu必须要求你指定至少一个qemu硬盘，你可以使

用空的硬盘，用qemu-img工具创建。

kernel 选项中：

kgdboc 的意思是 kgdb over console，这里将kgdb连接的console设置为ttyS0，波特率为115200 kgdbwait 使 kernel 在启动过程中等 待 gdb 的连接。

gdb 连接测试系统

qemu 启动后会等待 gdb 连接 tcp 端口以启动模拟串口。

运行下面的命令启动gdb，如果没设置KGDBGDB变量，默认用 gdbtui 启动，其中 VMLINUX 是未压缩的 kernel 文件。 

${KGDB_GDB:-gdbtui} $VMLINUX

设置波特率 

(gdb) set remotebaud 115200

连接目标 

(gdb) target remote tcp:localhost:${KGDB_TCPPORT}

连接成功后由于启动了 kgdbwait 选项，kgdb 会在内核启动的某个阶段得到控制权： 

Remote debugging using tcp:localhost:4555
kgdb_register_io_module (new_kgdb_io_ops=<value optimized out>)
    at /data/home/hellwolf/mydoc/prog/linux/linux-2.6/kernel/kgdb.c:1674
(gdb)

现在就可以开始使用 kgdb 调试内核了。

基本功能

杀死 gdb

如果 gdb 遇到问题无法相应了，可以在测试系统上运行下列命令中断调试： 

echo -e "\003" > /dev/ttyS1

如果你重启系统了，gdb 也需要重新连接系统。

中断测试系统

为了在测试系统运行的时候让 gdb 获得控制权，需要使用 Sys-Rq。关于 Sys-Rq 的详细设置方法，见 Documentation/sysrq.txt。 你 可以在系统运行时键盘上输入 Sys Rq+g，然后 gdb 就会出现： 

Program received signal SIGTRAP, Trace/breakpoint trap.
[Switching to Thread -1]
sysrq_handle_gdb (key=103, tty=0xc7869800)
    at /data/home/hellwolf/mydoc/prog/linux/linux-2.6/kernel/kgdb.c:1674
(gdb)

如果你不知道如何在键盘上输入，或者你需要程序控制，则可以用下列等价命令模拟： 

# echo g > /proc/sysrq-trigger

继续执行测试系统

(gdb) c

即可

设置断点，查询变量，单步调试，和调用堆栈

这些都和调试普通程序一样，比如： 

(gdb) b	sys_open
Breakpoint 1 at 0xc046d268: file /data/home/hellwolf/mydoc/prog/linux/linux-2.6/
fs/open.c, line 1107.
(gdb) c
Continuing.
[New Thread 612]
[Switching to Thread 612]

Breakpoint 1, sys_open (filename=0xb7f68a9c "/etc/ld.so.cache", flags=0,
    mode=0) at /data/home/hellwolf/mydoc/prog/linux/linux-2.6/fs/open.c:1107
(gdb) p filename
$1 = 0xb7f68a9c "/etc/ld.so.cache"
(gdb)n
(gdb)bt
#0  sys_open (filename=0xb7f68a9c "/etc/ld.so.cache", flags=0, mode=0)
    at /data/home/hellwolf/mydoc/prog/linux/linux-2.6/fs/open.c:1113
#1  0xc0403976 in system_call ()
    at /data/home/hellwolf/mydoc/prog/linux/linux-2.6/arch/x86/kernel/entry_32.S
:377
#2  0x00000000 in ?? ()

局限性

kgdb 不支持 tracepoints 和 watchpoints，除非有硬件调试器支持。

kgdb 的 threads 也无法正常使用。

GDB 脚本

gdb 可以定义 sequences 脚本, 功能局限，但是可以用来简化一些工作。比如在 gdb 调试状态下 lsmod 的脚本： 

set $_lsmod_modules = modules->next
#       1        10   15
printf "Module          Size\n"
while $_lsmod_modules != &modules
	set $_lsmod_module = (struct module*)((unsigned char*)$_lsmod_modules-(unsigned int)&(((struct module*)0)->list))
	printf "%-15s %d\n", $_lsmod_module->name, $_lsmod_module->init_size + $_lsmod_module->core_size
	set $_lsmod_modules = $_lsmod_modules->next
end

用 source 命令可以读入外部的 gdb 命令序列文件。

gdb 脚本最大的局限性在于，没有内置的字符串比较功能，比如我要得到一个(struct module*)，我必须遍历模块列表然后做字符串匹配。 这里我用了一个比较特殊的解决办法，我定义了两个gdb sequences : 

define xsrun
	if $argc == 0
		printf "Usage : xsrun xsourcecmd args...\n"
	else
		shell rm -f /tmp/*.xsource
		shell echo 0 > /tmp/seq.xsource
		if $argc == 1
			xsource '$arg0'
		end
		if $argc == 2
			xsource '$arg0' '$arg1'
		end
		if $argc == 3
			xsource '$arg0' '$arg1' '$arg2'
		end
		if $argc == 4
			xsource '$arg0' '$arg1' '$arg2' '$arg3'
		end
		if $argc == 5
			xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4'
		end
		if $argc == 6
			xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5'
		end
		if $argc == 7
			xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5' '$arg6'
		end
		if $argc == 8
			xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5' '$arg6' '$arg7'
		end
		if $argc == 9
			xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5' '$arg6' '$arg7' '$arg8'
		end
		if $argc == 10
			xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5' '$arg6' '$arg7' '$arg8' '$arg9'
		end
	end
end

define xsource
	if $argc == 1
		shell $TOOLSDIR/kgdb-xsource '$arg0'
	end
	if $argc == 2
		shell $TOOLSDIR/kgdb-xsource '$arg0' '$arg1'
	end
	if $argc == 3
		shell $TOOLSDIR/kgdb-xsource '$arg0' '$arg1' '$arg2'
	end
	if $argc == 4
		shell $TOOLSDIR/kgdb-xsource '$arg0' '$arg1' '$arg2' '$arg3'
	end
	if $argc == 5
		shell $TOOLSDIR/kgdb-xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4'
	end
	if $argc == 6
		shell $TOOLSDIR/kgdb-xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5'
	end
	if $argc == 7
		shell $TOOLSDIR/kgdb-xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5' '$arg6'
	end
	if $argc == 8
		shell $TOOLSDIR/kgdb-xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5' '$arg6' '$arg7'
	end
	if $argc == 9
		shell $TOOLSDIR/kgdb-xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5' '$arg6' '$arg7' '$arg8'
	end
	if $argc == 10
		shell $TOOLSDIR/kgdb-xsource '$arg0' '$arg1' '$arg2' '$arg3' '$arg4' '$arg5' '$arg6' '$arg7' '$arg8' '$arg9'
	end

	if $argc > 0
		source /tmp/current.xsource
	end
end

其中 $TOOLSDIR/kgdb-xsource 是我自定义的一个寻找名字为 '$arg0' 的 xsource 脚本的工具，我的实现就是在某个目录下找名字为 $arg0 的文件： 

$ cat tools/kgdb-xsource
#!/bin/bash
. $(dirname "$0")/common.sh

if [ "$#" == 0 ];then
	echo "kgdb-xsource xsourcecmd args...\\n\"" > /tmp/current.xsource
else
	XSOURCECMD=$1
	shift
	XSOURCESEQ=$(cat /tmp/seq.xsource)
	XSOURCESEQ=$((${XSOURCESEQ}+1))
	echo ${XSOURCESEQ} > /tmp/seq.xsource
	XSOURCEOFILE=/tmp/${XSOURCESEQ}-${XSOURCECMD}.xsource
	if [ -f "$XSOURCEDIR/$XSOURCECMD" ] && [ -x "$XSOURCEDIR/$XSOURCECMD" ];then
		$XSOURCEDIR/$XSOURCECMD "$@" > ${XSOURCEOFILE}
		rm -f /tmp/current.xsource
		ln -s ${XSOURCEOFILE} /tmp/current.xsource
	else
		echo "printf \"No such xsource command : $XSOURCECMD\\n\"" > /tmp/current.xsource
	fi
fi

这些脚本的目的就是，通过外部脚本生成 gdb 脚本，然后再让 gdb 执行。他首先寻找 xsource 脚本，然后运行它，得到的输出（gdb sequences)保存到 /tmp 下的某个文件中，并链接为 /tmp/current.xsource, 然后让 gdb 执行改文件。

比如 strcmpvs 脚本，这个脚本就是为了比较内部变量和一个字符串的： 

$ cat tools/xsource.d/strcmp_vs
#!/usr/bin/perl
if (@ARGV != 3) {
    print "printf \"Usage : strcmp result var str\\n\"";
    exit 1
}

($result, $var, $str) = @ARGV;
print 'if ';
$i = 0;
for (0..length($str)-1) {
    $i = $_;
    $c = substr($str, $i, 1);
    print ' && ' if $i;
    print "${var}[$i] == '$c'";
}
++$i;
print " && ${var}[$i] == '\\0'
    set \$$result = 0
else
    set \$$result = -1
end
";

利用这个基本命令，我们现在就可以实现 getmod 功能拉： 

$ cat tools/xsource.d/getmod
#!/bin/sh
[ $# != 2 ] && echo "printf \"Usage : getmod modvar modname\n\"" && exit 1

MODVAR=$1
MODNAME=$2
cat <<EOF
set \$_getmod_modules = modules->next
set \$_getmod_modfound = 0
while \$_getmod_modules != &modules
	set \$_getmod_module = (struct module*)((unsigned char*)\$_getmod_modules-(unsigned int)&(((struct module*)0)->list))
	xsource strcmp_vs _getmod_modfound \$_getmod_module->name $MODNAME
	if \$_getmod_modfound == 0
		set \$$MODVAR = \$_getmod_module
		set \$_getmod_modfound = 1
		loop_break
	end
	set \$_getmod_modules = \$_getmod_modules->next
end

if \$_getmod_modfound != 1
	printf "Module \\"$MODNAME\\" cannot be found\\n"
	set \$$MODVAR = 0
end
EOF
[/code]
运行范例：
[code]
(gdb) xsource getmod modvar hello
(gdb) print $modvar->sect_attrs->attrs[0]->name
$9 = 0xc7855b40 ".note.gnu.build-id"

调试内核模块

调试内核模块需要额外的步骤，因为内核模块是动态载入的，gdb 一开始无法从内核 VMLINUX 文件中得到模块中的函数和变量地址信息。 这里必须用 gdb 的 add-symbol-file 命令： 

	add-symbol-file $MODFILE \\
		$TEXT_ADDR \\
		-s .data $DATA_ADDR \\
		-s .bss $BSS_ADDR

其中 MODFILE 是 .ko 文件， 如何获得那三个地址是这里最关键的。这里有两种方法：

  1. 从 sysfs 中获得

这种方法比较简单： 

$ cat /sys/module/snd/sections/.text
0xf8f83000
$ cat /sys/module/snd/sections/.data
0xf8f8d040
$ cat /sys/module/snd/sections/.bss
0xf8f8e280
  1. 用 gdb 脚本

这个脚本先通过上面的 getmod 脚本得到(struct module*)，然后从里面得到所需要的 sections 的地址，最后调用 add-symbol-file 命令。不过因为有大量的 gdb 交互，所以会比较慢 :) 

$ cat tools/xsource.d/addmod2gdb
#!/bin/sh
# addmod2gdb($modname)
[ $# != 1 ] && echo "printf \"Usage : addmod2gdb modname\n\"" && exit 1

MODNAME=$1
MODFILE=$KMODSDIR/$MODNAME/${MODNAME}.ko
if [ -f $MODFILE ];then
	cat <<EOF
xsource getmod _addmod2gdb_mod $MODNAME
if \$_addmod2gdb_mod != 0
	set \$_addmod2gdb_i = 0
	set \$_addmod2gdb_c = 0
	while \$_addmod2gdb_i < \$_addmod2gdb_mod->sect_attrs->nsections
		if \$_addmod2gdb_c == 3
			loop_break
		end
		xsource strcmp_vs _addmod2gdb_r \$_addmod2gdb_mod->sect_attrs->attrs[\$_addmod2gdb_i].name .text
		if \$_addmod2gdb_r == 0
			set \$_addmod2gdb_text = \$_addmod2gdb_mod->sect_attrs->attrs[\$_addmod2gdb_i].address
			set \$_addmod2gdb_c = \$_addmod2gdb_c + 1
			set \$_addmod2gdb_i = \$_addmod2gdb_i + 1
			loop_continue
		end

		xsource strcmp_vs _addmod2gdb_r \$_addmod2gdb_mod->sect_attrs->attrs[\$_addmod2gdb_i].name .data
		if \$_addmod2gdb_r == 0
			set \$_addmod2gdb_data = \$_addmod2gdb_mod->sect_attrs->attrs[\$_addmod2gdb_i].address
			set \$_addmod2gdb_c = \$_addmod2gdb_c + 1
			set \$_addmod2gdb_i = \$_addmod2gdb_i + 1
			loop_continue
		end

		xsource strcmp_vs _addmod2gdb_r \$_addmod2gdb_mod->sect_attrs->attrs[\$_addmod2gdb_i].name .bss
		if \$_addmod2gdb_r == 0
			set \$_addmod2gdb_bss = \$_addmod2gdb_mod->sect_attrs->attrs[\$_addmod2gdb_i].address
			set \$_addmod2gdb_c = \$_addmod2gdb_c + 1
			set \$_addmod2gdb_i = \$_addmod2gdb_i + 1
			loop_continue
		end

		set \$_addmod2gdb_i = \$_addmod2gdb_i + 1
	end

	add-symbol-file $MODFILE \\
		\$_addmod2gdb_text \\
		-s .data \$_addmod2gdb_data \\
		-s .bss \$_addmod2gdb_bss
end
EOF
else
	echo "printf \"No such module file : $MODFILE\n\""
fi

参考资料

Tags: linux kernel
Other posts
Creative Commons License
A First-Principles-Driven Life by Miao, ZhiCheng is licensed under a Creative Commons Attribution 3.0 License.